腾讯自研软件编码器O264RT的“秘密武器”

拥有自研编码器越来越成为视频产品硬核技术实力比拼的关键。

目前，H.264/AVC标准虽然在视频应用场景应用最广、兼容性最高，但因为其开源协议对商业软件不友好，往往会带来昂贵的软件授权费用，让众多企业望而却步。

为此，腾讯多媒体实验室推出了自研O264RT编码器并进行了深度优化，同时与腾讯云TRTC团队合作，保障TRTC在任何条件下都可以提供当前场景下"最低延时"与“最优质量”的视频体验。

让我们来看看O264RT编码器的“秘密武器”：

武器一：

低耗极速，对比x264，CPU消耗降低20%

TRTC面向的是实时性较高的应用场景，且终端设备多样，性能参差不齐，对CPU消耗和延时非常敏感。O264RT完善了低延时模式，并通过优化多个编码内核工具集，对编码器进行加速，节省CPU开销。通过工程师的不断优化，O264RT的CPU消耗同比x264低20%左右，在提供更高质量视频同时具备了实时性高和性能消耗低的优点。

图 1 ：x264与O264RT CPU消耗对比

武器二：

高效优质，屏幕分享场景，带宽节省超25%

x264 的定位是通用编码器，所以很多细分场景的优化并没有做到极致，而 O264RT专门针对 TRTC 所专注的实时音视频场景进行了为期两年的专项优化，对码控、模式决策、RDO等模块均进行了极致优化。目前在摄像头和屏幕分享两个场景下的优化效果尤其显著，编码效率和编码速度方面均优于x264。针对摄像头采集场景，O264RT能在比x264快20%的情况下，额外带来13%左右的带宽节省。

图 2：x264与O264RT 摄像头采集场景性能对比

此外，为了提供不同场景下的最优视频体验，O264RT更新增实现了ROI与屏幕编码技术，其中，屏幕编码技术更在2021年数博会在全球560个项目中脱颖而出，荣获黑科技大奖。

编码ROI功能是在优化码率在重要信息上的分配效率，将人眼感兴趣的区域编码的更清晰。对于ROI区域，O264RT支持外部传入以及内部检测两种模式——如果外部有美颜等前处理模块可使用外部传入模式，避免重复计算；对于大多数的场景，外部并不存在ROI检测结果，此时可以开启耗时极低的内部检测算法，节省计算资源的同时也能提升编码画质。

依据当前实测结果，O264RT通过实现ROI技术，在低码率下能显著提升主观质量，在高码率下保证画质相同的情况下节省20%左右的带宽。

图 3：ROI效果对比 (左)x264 (右) O264RT

在屏幕分享场景，O264RT也作了大量针对性优化，使其在提升画质的同时节省25%以上带宽，同时相比x264更有7%的加速。

图 4：x264与O264RT 屏幕内容场景性能对比

图 5：屏幕内容场景相同码率编码效果对比 (左) x264 (右) O264RT

图 6：数博会获奖证书

武器三：

弱网环境下，依然有效传输视频数据

视频作为二维信息相比于音频数据能传递的信息更多，理论上所需传递信息的带宽也更高，这不仅对编码器压缩性有极高的要求，同时因为信息量大，在弱网下丢包的机率相对更高，因此对在编码时如果在高压缩率的同时最大化弱网抗性也是O264RT所研发的重要方向。当前O264RT增加了智能参考帧和SVC功能，在弱网环境下依然可以有效地传输视频数据。

图 7：SVC示意图

当然，据派派了解，O264RT的“秘密武器”远远不止低耗极速、高效优质、弱网保障，还有一大利器就是可以支持Linux、Windows、 MacOS、Android、 iOS等平台，TRTC用户在任何场景、任何时间、任何平台都可以有效地节省带宽成本，带来更高清、延迟更低的体验。

—END—